Existing techniques for training language models can be misaligned with the truth: if we train models with imitation learning, they may reproduce errors that humans make; if we train them to generate text that humans rate highly, they may output errors that human evaluators can't detect. We propose circumventing this issue by directly finding latent knowledge inside the internal activations of a language model in a purely unsupervised way. Specifically, we introduce a method for accurately answering yes-no questions given only unlabeled model activations. It works by finding a direction in activation space that satisfies logical consistency properties, such as that a statement and its negation have opposite truth values. We show that despite using no supervision and no model outputs, our method can recover diverse knowledge represented in large language models: across 6 models and 10 question-answering datasets, it outperforms zero-shot accuracy by 4\% on average. We also find that it cuts prompt sensitivity in half and continues to maintain high accuracy even when models are prompted to generate incorrect answers. Our results provide an initial step toward discovering what language models know, distinct from what they say, even when we don't have access to explicit ground truth labels.

预测未来的世界事件是一项具有挑战性但有价值的任务。对气候，地缘政治冲突，大流行和经济指标的预测有助于塑造政策和决策。在这些领域中，专家人类的判断有助于最佳预测。鉴于语言建模的进步，这些预测可以自动化吗？为此，我们介绍了AutoCast，这是一个包含数千个预测问题和随附的新闻语料库的数据集。问题来自预测锦标赛，确保高质量，现实世界中的重要性和多样性。新闻语料库是按日期组织的，使我们能够精确模拟人类过去的预测（避免将来泄漏）的条件。我们的动机是由于数量级的预测数字的难度（例如，2022年的Covid-19的全球案例），我们还策划了Intervalqa，这是数值问题和校准的数值问题和指标的数据集。我们在预测任务上测试语言模型，并发现绩效远低于人类专家基线。但是，随着新闻语料库中相关信息的合并，绩效提高了绩效。总而言之，AutoCast对大型语言模型提出了一个新颖的挑战，并提高了性能可能会带来很大的实际收益。

诸如模型可视化之类的透明度方法提供了仅输出可能会错过的信息，因为它们描述了神经网络的内部。但是，我们可以相信该模型解释反映了模型行为吗？例如，他们可以诊断出异常行为，例如后门或形状偏见吗？为了评估模型解释，如果模型与普通模型的参考集不同，我们将模型定义为异常，并且我们测试透明度方法是否为异常和正常模型分配了不同的解释。我们发现，尽管现有方法可以检测出诸如形状偏见或对抗性训练之类的鲜明异常，但他们努力识别出更微妙的异常情况，例如接受不完整数据训练的模型。此外，他们通常无法区分诱导异常行为的输入，例如包含后门触发器的图像。这些结果揭示了现有模型解释中的新盲点，这表明需要进一步开发方法。

数字推荐系统（例如Spotify和Netflix）不仅会影响消费者的行为，还会影响生产者的激励措施：生产商试图提供系统推荐的内容。但是将产生什么内容？在本文中，我们研究了内容推荐系统中的供应方均衡。我们将用户和内容建模为$ d $维矢量，并推荐与每个用户具有最高点产品的内容。我们模型的主要特征是生产者的决策空间高维，用户群是异质的。这引起了平衡的新定性现象：首先是流派的形成，生产者专门竞争用户的亚集。使用二元参数，我们得出了这种专业化的必要条件。其次，我们表明生产商可以在平衡下实现正利润，这在完美的竞争中通常是不可能的。我们得出了足够的条件，并证明它与内容的专业化密切相关。在这两种结果中，用户的几何形状与生产者成本的结构之间的相互作用都会影响供应方均衡的结构。从概念上讲，我们的工作是研究推荐系统如何塑造生产者之间供应方竞争的起点。

奖励黑客 - RL代理商在错过奖励功能中利用差距 - 已被广泛观察到，但尚未系统地研究。要了解如何批量奖励，我们会构建具有误报奖励的四个RL环境。我们调查奖励黑客作为代理能力的函数：模型容量，动作空间分辨率，观察空间噪声和培训时间。更有能力的代理经常利用奖励拼写错误，实现更高的代理奖励和较低的真正奖励，而不是更有技能的代理商。此外，我们发现阶段转换的实例：代理人的行为定性转移的能力阈值，导致真正奖励的急剧下降。这种相转变对监测ML系统的安全构成挑战。为了解决这个问题，我们提出了异常策略的异常检测任务，并提供了几个基线探测器。

在真实世界的机器学习应用中，可靠和安全的系统必须考虑超出标准测试设置精度的性能测量。这些其他目标包括分销（OOD）鲁棒性，预测一致性，对敌人的抵御能力，校准的不确定性估计，以及检测异常投入的能力。然而，提高这些目标的绩效通常是一种平衡行为，即今天的方法无法在不牺牲其他安全轴上的性能的情况下实现。例如，对抗性培训改善了对抗性鲁棒性，但急剧降低了其他分类器性能度量。同样，强大的数据增强和正则化技术往往提高鲁棒性，但损害异常检测，提出了对所有现有安全措施的帕累托改进是可能的。为满足这一挑战，我们设计了利用诸如分数形的图片的自然结构复杂性设计新的数据增强策略，这优于众多基线，靠近帕累托 - 最佳，并圆形提高安全措施。

显示过次分辨率化，导致在亚组信息的各种设置下在罕见的子组上的测试精度差。为了获得更完整的图片，我们考虑子组信息未知的情况。我们调查模型规模在多种设置的经验风险最小化（ERM）下最差组泛化的影响，不同：1）架构（Reset，VGG或BERT），2）域（视觉或自然语言处理）3）模型尺寸（宽度或深度）和4）初始化（具有预先培训或随机重量）。我们的系统评价显示，模型大小的增加不会受到伤害，并且可以帮助所有设置的ERM下的最差群体测试性能。特别是，增加预先训练的模型大小一致地提高水鸟和多液体的性能。当子组标签未知时，我们建议从业者使用更大的预训练模型。

机器学习（ML）系统的大小迅速增加，正在获取新功能，并且越来越多地部署在高赌注设置中。与其他强大的技术一样，ML的安全应成为主要的研究优先权。为了应对ML的新兴安全挑战，例如由最近的大型模型引入的策略，我们为ML安全提供了新的路线图，并完善了现场需要解决的技术问题。我们为研究提供了四项问题，即危害危险（“鲁棒性”），识别危险（“监测”），转向ML系统（“对齐”），减少部署危险（“外部安全性”）。在整个过程中，我们澄清了每个问题的动机并提供了具体的研究方向。

为了了解神经网络行为，最近的作品定量比较使用规范相关分析（CCA），居中内核对准（CKA）和其他不同措施的不同网络的学习表示。不幸的是，这些广泛使用的措施往往不同意基本观察，例如只有在随机初始化中不同的深度网络都会学习类似的表示。这些分歧提出了问题：我们应该相信哪些，如果有的话，那么这些不相似措施？我们通过具体的测试提供了一个框架来解决这个问题：措施应该具有对影响功能行为的变化的敏感性，以及对没有的变化的特异性。我们通过各种功能行为量化，包括探测准确性和稳健性与分布换档，并检查变化的随机初始化和删除主组件。我们发现当前的指标表现出不同的弱点，请注意，经典基线令人惊讶地表现出令人惊讶的良好，并且突出显示所有度量都失败的设置，从而为进一步改进提供挑战。

虽然编程是现代社会中最广泛适用的技能之一，但现代机器学习模型仍然无法对基本问题的解决方案。尽管重要的是，对评估代码生成令人惊讶的是，很少有效，并且难以准确地评估代码生成性能。为了满足这一挑战，我们介绍了一个用于代码生成的基准。与在更受限制的设置中的事先工作不同，我们的基准测试衡量模型采取任意自然语言规范的能力，并生成满意的Python代码。类似于公司如何评估候选软件开发人员，然后我们通过检查测试用例的生成代码来评估模型。我们的基准测试包括10,000个问题，从具有简单的单线解决方案来实现实质性算法挑战。我们在GitHub和我们的培训集上微调大型语言模型，我们发现语法错误的普遍性随着模型的提高而导致呈指数级递减。最近的模型如GPT-Neo可以通过大约20％的介绍性问题的测试用例，因此我们发现机器学习模型现在开始学习如何代码。随着自动代码生成的社会意义在未来几年增加，我们的基准可以提供跟踪进步的重要措施。